公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式
论文地址：https://arxiv.org/pdf/2205.09612.pdf链接: https://pan.baidu.com/s/1oUjAOOzP6CEuZYkLqi5Zsg 密码: 4pja计算机视觉研究院专栏
作者：Edison_G
分类置信网络（CLCNet），可以确定分类模型是否正确分类输入样本。
分类置信网络（CLCNet）可以获取任意维度的向量形式的分类结果，并返回一个置信度分数作为输出，它代表了一个实例被正确分类的概率。可以在一个由多个SOTA分类模型组成的简单级联结构系统中使用CLCNet，实验表明该系统可以实现以下优势：实际上，这是一种新型的集成建模。与通用集成建模一样，它可以实现比单一分类模型更高的性能，但新的系统比通用集成建模需要更少的计算量。在深度学习中，分类一直是热门任务。并且已经提出了许多具有相同结构的不同尺寸变体的SOTA分类模型，例如EfficientNet-B0到B7。B后面的数字越大，模型的参数越多，性能越高。基于这个观察，我们想要达到以下目的：
为了达到上述目的，在今天分享中，研究者首先提出了一个可以预测分类模型是否正确分类的网络，称为分类置信网络（CLCNet）。
研究者可以将CLCNet应用在一个简单的级联结构系统中，其中研究者堆叠了两个（或多个）分类模型，如上图所示。计算量少的模型称为浅模型，计算量多的模型称为深度模型。当通过这个系统推断一个样本时，它会首先使用浅层模型进行分类，并将其分类结果返回给CLCNet，以预测它是否被正确分类。如果CLCNet输出高置信度分数，将直接接受分类结果，不会执行后续步骤。另一方面，当CLCNet对浅层模型的分类结果置信度不足时，输入样本会继续由深层模型进行分类，深层模型的分类结果也会由CLCNet评估并输出置信度分数。最后，比较了CLCNet预测的深度模型和浅层模型分类结果的置信度分数，并将置信度较高的分类结果作为输出返回。
左边是CLCNet，右边就是Restricted Self-Attention
当得到一个分类结果时，我们想知道分类是否正确。我们将分类结果输入到上图左侧所示的CLCNet中，CLCNet会对分类结果进行排序去除其类别信息，这样可以专注于分类结果的数值分布。然后将排序后的结果输入到我们提出的Restricted Self-Attention模块中，其目的是将任意维度的分类结果映射到等效的m维向量，其中m是超参数。换句话说，我们想在m分类任务中“模拟”分类结果的等价分布。当得到等价的m维向量后，我们再次对其进行排序并交给TabNet，TabNet会返回这个映射向量的置信度分数，表示分类正确的概率。
TabNet
我们可以在一个简单的级联结构系统中使用CLCNet，其中我们堆叠了两个（或多个）分类模型，如第一张图所示。计算量较少的模型称为浅层模型。系统会先用它进行分类，然后将分类结果输入到CLCNet来预测是否分类正确。如果CLCNet输出的置信度分数高于阈值，那么我们将直接接受分类结果，不会继续下一步，阈值是一个超参数。计算成本较高的模型称为深度模型。当CLCNet对浅层模型分类结果的置信度小于阈值时，输入样本会继续被深层模型分类，分类结果也会输入到CLCNet进行评估，并给出另一个置信度分数。最后，我们比较两个模型分类结果的置信度得分，接受置信度较高的结果。
在今天分享中，研究者就是提出了一个可以预测任意维度分类结果的置信度分数的CLCNet，并且CLCNet可以用于简单的级联结构系统，能够逼近一般集成建模的性能，而所需的更少 计算比一般集成建模。并且系统中的模型是可更换的，可以更换新的SOTA模型以获得更好的效果。此外，通过调整系统的阈值，可以指定系统推理的平均FLOPs。转载请联系本公众号获得授权
计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！公众号ID｜ComputerVisionGzq
学习群｜扫码在主页获取加入方式